【CDI】Informatica Cloud Data IntegrationのS3 V2コネクタでターゲットのオブジェクトにタグをつける

データアナリティクス事業本部の鈴木です。

Informatica Cloud Data Integrationのマッピングから、S3 V2コネクタでターゲットのオブジェクトを作成する際にタグをつける実装についてご紹介します。

Amazon S3 V2 ConnectorのObject tagについて

S3 V2コネクタを使ったターゲットの詳細で、Object TagsにKey=Value形式で記載することで、タグをつけられることが以下のガイドに紹介されています。

今回はこの仕組みを使って作成したオブジェクトにタグをつけられるか確認しました。

やってみた

マッピングの説明

今回はS3 V2コネクタをターゲットに使った以下のようなマッピングを作成し、Object Tagsに値を設定し、マッピングを実行してみました。

ソースはS3から適当なファイルを読み出すものですが、今回は説明したい内容に関係がないので省略します。

設定の解説

ターゲットをクリックし、ターゲットの詳細からObject Tagsがあることが確認できました。

この欄に以下のように値を入力し、保存しました。

マッピングの実行

マッピングを実行すると以下のようにタグがついたオブジェクトが作成されました。

期待したタグがついていることが確認できました。

タグがついているとなにが嬉しいの？

例えばS3バケット上に作成されたオブジェクトをライフサイクルで削除したりストレージクラスを変更したりする際に、ライフサイクルのフィルタにタグを使って、より細かな制御を行うことができるようになります。

ライフサイクルのアクションのトリガーとしては、オブジェクトの有効期限とバージョニングの世代が代表的かなと思います。

CDIのマッピングからS3にファイルを作成する場合、ファイル名に日付を入れておくことによって過去ファイルを残しておくような実装も可能です。その場合、過去ファイルはずっと積み上がっていってしまうため、連携頻度が高い場合はどこかを境に削除していった方が良いでしょう。S3にあるファイルを全て削除できる場合は問題ありませんが、削除してはいけないファイルがある場合はタグを使うことによって、タグがついているマッピングが作成したファイルだけを対象とすることができます。

ファイル名に日付を入れる実装例としては以下のブログもご確認ください。（ブログではHIVE形式でS3のオブジェクトパスに年月日を入れています。）

最後に

CDIのマッピングでS3 V2コネクタでS3バケットに作成するオブジェクトにタグをつける方法を確認しました。参考になりましたら幸いです。